"I should not have done such a thing at that time." となります。つまり、I should not have + 動詞の過去分詞 です。「あなたに会いに行くべきだった」なら、"I should have gone to see you." ですよね。肯定型ですから、not はなくなります。 映画「キャスト ・アウェイ」（Cast Away 2000）では、主人公が "I never should've gotten on that plane. I never should've gotten out of the car."「ぼくはあの飛行機に乗るべきでなかった、あの車から降りるべきでなかった」と過去の自分の行動を反省しています。この場合、never を前に置いて強調し、onとout ofを対照させているのがうまい。